大型的语言模型（PRELMS）正在彻底改变所有基准的自然语言处理。但是，它们的巨大尺寸对于小型实验室或移动设备上的部署而言是过分的。修剪和蒸馏等方法可减少模型尺寸，但通常保留相同的模型体系结构。相反，我们探索了蒸馏预告片中的更有效的架构，单词的持续乘法（CMOW），该构造将每个单词嵌入为矩阵，并使用矩阵乘法来编码序列。我们扩展了CMOW体系结构及其CMOW/CBOW-HYBRID变体，具有双向组件，以提供更具表现力的功能，在预绘制期间进行一般（任务无义的）蒸馏的单次表示，并提供了两种序列编码方案，可促进下游任务。句子对，例如句子相似性和自然语言推断。我们的基于矩阵的双向CMOW/CBOW-HYBRID模型在问题相似性和识别文本范围内的Distilbert具有竞争力，但仅使用参数数量的一半，并且在推理速度方面快三倍。除了情感分析任务SST-2和语言可接受性任务COLA外，我们匹配或超过ELMO的ELMO分数。但是，与以前的跨架结构蒸馏方法相比，我们证明了检测语言可接受性的分数增加了一倍。这表明基于基质的嵌入可用于将大型预赛提炼成竞争模型，并激励朝这个方向进行进一步的研究。
translated by 谷歌翻译
We identify the task of measuring data to quantitatively characterize the composition of machine learning data and datasets. Similar to an object's height, width, and volume, data measurements quantify different attributes of data along common dimensions that support comparison. Several lines of research have proposed what we refer to as measurements, with differing terminology; we bring some of this work together, particularly in fields of computer vision and language, and build from it to motivate measuring data as a critical component of responsible AI development. Measuring data aids in systematically building and analyzing machine learning (ML) data towards specific goals and gaining better control of what modern ML systems will learn. We conclude with a discussion of the many avenues of future work, the limitations of data measurements, and how to leverage these measurement approaches in research and practice.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
对任何人类语言的文本的语法分析通常涉及许多基本的处理任务，例如令牌化，形态标记和依赖性解析。最先进的系统可以在具有大数据集的语言上实现这些任务的高精度，但是对于几乎没有带注释的数据的他的他加禄语等语言的结果很差。为了解决他加禄语语言的此问题，我们研究了在没有带注释的他加禄语数据的情况下使用辅助数据源来创建特定于任务模型的使用。我们还探索了单词嵌入和数据扩展的使用，以提高性能，而只有少量带注释的他加禄语数据可用。我们表明，与最先进的监督基线相比，这些零射击和几乎没有射击的方法在对域内和域外的塔加尔teact文本进行了语法分析方面进行了实质性改进。
translated by 谷歌翻译
通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。
translated by 谷歌翻译
已知性别偏见存在于大规模的视觉数据集中，并且可以在下游模型中反映甚至扩大。许多先前的作品通常通过尝试从图像中删除性别表达信息来减轻性别偏见。为了理解这些方法的可行性和实用性，我们研究了大规模视觉数据集中存在的$ \ textit {gengender伪像} $。我们将$ \ textit {性别伪像} $定义为与性别相关的视觉提示，专门针对那些由现代图像分类器学习并具有可解释的人类推论的线索。通过我们的分析，我们发现性别伪像在可可和开放型数据集中无处不在，从低级信息（例如，颜色通道的平均值）到图像的高级组成（例如姿势和姿势和姿势，，，，，，，，，地和图像的平均值），无处不在（例如，姿势和姿势，姿势和姿势，，，姿势和姿势，是姿势和姿势，是姿势和姿势，是姿势和姿势的平均值）。人的位置）。鉴于性别文物的流行，我们声称试图从此类数据集中删除性别文物的尝试是不可行的。取而代之的是，责任在于研究人员和从业人员意识到数据集中图像的分布是高度性别的，因此开发了对各组之间这些分配变化的强大方法。
translated by 谷歌翻译
以前的工作在很大程度上通过“偏见”的透镜指定的镜头考虑了图像字幕系统的公平性。相比之下，我们提供了一组技术，用于测量五种类型的代表性危害以及使用最流行的图像标题数据集获得的最终测量结果。我们的目标不是审核此图像字幕系统，而是要开发规范性的测量技术，进而提供了一个机会来反思所涉及的许多挑战。我们提出了每种危害类型的多种测量技术。我们认为，这样做可以更好地捕获每种危害的多方面性质，从而改善了所得测量值的（集体）有效性。在整个过程中，我们讨论了我们的测量方法的基础假设，并指出了它们不进行的假设。
translated by 谷歌翻译
评估成像中的乳腺癌风险仍然是一个主观过程，在该过程中，放射科医生采用计算机辅助检测（CAD）系统或定性视觉评估来估计乳房密度（PD）。更先进的机器学习（ML）模型已成为量化早期，准确和公平诊断的乳腺癌风险的最有希望的方法，但是医学研究中的这种模型通常仅限于小型单一机构数据。由于患者人口统计和成像特征可能在成像站点之间有很大差异，因此在单机构数据中训练的模型往往不会很好地概括。为了应对这个问题，提出了Mammodl，这是一种开源软件工具，利用UNET体系结构来准确估计乳腺PD和数字乳房X线摄影（DM）的复杂性。通过开放的联合学习（OpenFL）库，该解决方案可以在多个机构的数据集上进行安全培训。 Mammodl是一个比其前任更精简，更灵活的模型，由于对更大，更具代表性的数据集的支持培训，因此具有改进的概括。
translated by 谷歌翻译
我们提出了一个Point2cyl，一个监督网络将原始3D点云变换到一组挤出缸。从原始几何到CAD模型的逆向工程是能够在形状编辑软件中操纵3D数据的重要任务，从而在许多下游应用中扩展其使用。特别地，具有挤出圆柱序列的CAD模型的形式 - 2D草图加上挤出轴和范围 - 以及它们的布尔组合不仅广泛应用于CAD社区/软件，而且相比具有很大的形状表现性具有有限类型的基元（例如，平面，球形和汽缸）。在这项工作中，我们介绍了一种神经网络，通过首先学习底层几何代理来解决挤出汽缸分解问题的挤出圆柱分解问题。精确地，我们的方法首先预测每点分割，基础/桶标签和法线，然后估计可分离和闭合形式配方中的底层挤出参数。我们的实验表明，我们的方法展示了两个最近CAD数据集，融合画廊和Deepcad上的最佳性能，我们进一步展示了逆向工程和编辑的方法。
translated by 谷歌翻译
在本文中，我们提出了一种用于图像剪接检测的新型社会启发卷积神经网络（CNN）深度学习模型。基于从检测到粗略拼接图像区域的前提是可以改善视觉上不可察觉的剪接图像锻炼的检测，所提出的模型称为MissMarple，是涉及特征转移学习的双CNN网络。通过培训和测试所提出的模型，使用哥伦比亚剪接，WildWeb，DSO1和拟议数据集的培训和测试所提出的模型，标题为Abhas，由现实的剪接锻炼组成，揭示了现有深度学习模型的检测精度的提高。
translated by 谷歌翻译